# autor: Fabiano A. Lima
# esse arquivo contém o código usado para obter os dados dos sites dos veículos
# usados no estudo. Como esses sites podem sofrer alteração, reocmenda-se que, para fins de 
# reprodutibilidade, se use os arquivos salvos quando da elaboração dos estudo. 

library(tidyverse)
library(rvest)
library(urltools)
library(lubridate)

source("pesquisador.r", encoding = "utf8")
source("gera_tabela.r", encoding = "utf8")

folha <- folha() 
o_globo <- o_globo()

data_ini <- "01/01/2019"
data_fim <- "30/06/2020"

criterios <- c("Operação", "Operação e Magistrado", "Magistrado", "Magistrado sem Operação")

# Monta tabela básica somente com sumário das buscas (resultados totais)
valores_folha <- c(
  folha$busca_texto("todos:lava jato", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:marcelo bretas lava jato", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:marcelo bretas", data_ini, data_fim, T, T)$total,
  folha$busca_texto("todos:marcelo bretas, nenhum: lava jato", data_ini, data_fim, T, T)$total
)

valores_globo <- c(
  o_globo$busca_texto("", "lava jato", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "marcelo bretas lava jato", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "marcelo bretas", "", "", data_ini, data_fim, T, T)$total,
  o_globo$busca_texto("", "marcelo bretas", "", "lava jato", data_ini, data_fim, T, T)$total
)

# Consolida resultados em dataframe único para salvar em arquivo

tbl_citacoes <- tibble(
  "Critério" = criterios,
  "Folha" = valores_folha,
  "O Globo" = valores_globo 
)

saveRDS(tbl_citacoes ,"./data/citacoes_mb_lj.rds")
write.csv(tbl_citacoes ,"./data/citacoes_mb_lj.csv")

# Busca dados detalhados da Folha e gera arquivos

folha_mb_sem_lj <- folha$busca_texto("todos:marcelo bretas, nenhum: lava jato", data_ini, data_fim)
saveRDS(folha_mb_sem_lj$resultados, "./data/folha_mb_sem_lj.rds")
write_lines(folha_mb_sem_lj$resultados, "./data/folha_mb_sem_lj.txt")


# Buscando dados detalhados de O Globo e gera arquivos
o_globo_mb_sem_lj <- o_globo$busca_texto("", "marcelo bretas", "", "lava jato", data_ini, data_fim)
saveRDS(o_globo_mb_sem_lj$resultados, "./data/o_globo_mb_sem_lj.rds")
write_lines(o_globo_mb_sem_lj$resultados, "./data/o_globo_mb_sem_lj.txt")